相同轨迹，不同知识：面向搜索 Agent 的信息状态感知 On-Policy 蒸馏
🧭 搜索 Agent 的 on-policy 蒸馏与过程监督 ★ 深度解读
Beijing Institute of Technology · Huawei
提出 ISA-Distill，按学生状态的事实可恢复性加权 fact-use 与 evidence-seeking 双视图反馈，纠正 teacher 特权信息偏差
📌 工作参考价值（4 点）
- 在电商搜索/推荐 Agent 的 RL 过程监督中，不要把 gold answer 或完整 evidence 直接塞给 teacher；可增加一个“学生侧事实可恢复性”估计：用 frozen policy 对 value-masked probe 采样 32 次，算 mean token NLL，再校准为 k∈[0,1]。按 k 加权“已知事实利用”和“缺失证据获取”两个 teacher 视图，训练期仅增加约 4.3% 开销，就能缓解多跳商品问答中的 search 不足与过早作答。
- 对多跳商品属性问答、活动规则查询、商品对比/导购等任务，可按 recoverability 动态分配 search budget：事实已知时少搜，事实缺失时多搜；论文经验是单跳调用 -7.21%、多跳 +2.94%，整体 calls 更省且准确率提升。
- 过程监督无需覆盖全轨迹 token：只对 <search> tag + query、<conclusion> tag + factual assertion 等关键 span 做有界 local correction，监督 token 仅约 11.32% 也能获得稳定提升，适合预算受限的在线训练链路。
- 若发现蒸馏后的推荐/搜索 Agent 搜索次数不足或过早停止，可做 paired evidence utility 诊断：给 teacher 加 gold fact，观察其对 search token score 的变化；positive-utility search 被大幅降分即存在 information-state mismatch，可引入 recoverability-aware 修正。
DecisionRank：面向决策模型重排器的在线策略蒸馏
🧭 决策重排模型蒸馏 · 单 token 排序 ★ 深度解读
Meta · Purdue University
用 item-space on-policy distillation 把生成式 LLM 排序偏好蒸馏到单 token 决策重排器，8B 超 27B 教师且快 24.5 倍
📌 工作参考价值（4 点）
- 如果线上重排为了低延迟采用单 token doc-id score，可以不必再靠离线静态 RankNet 蒸馏；把学生当前排序的 top-K 作为 teacher-forced 前缀，在 item space 用 reverse KL 对齐 teacher 的条件 next-item 分布，训练与推理完全一致，且 teacher 无需和学生共享词表或架构，适合接闭源/跨家族 LLM 教师。
- 工程实现：每步用学生 first-token logits 排序取 top-20，一次性 teacher-forced forward pass 拿到 step 2–19 的条件分布，再对剩余候选做 Plackett-Luce 归一化和 reverse KL；不需要自回归 rollout，稳定且省算力。联合离线 RankNet，λ=0.1，16k 查询即可在多种 teacher/student 尺寸上稳定增益。
- 对推荐/广告重排的负向结论也有用：AR SFT/AR OPD/Listwise GRPO 在单 token 打分器上不稳定，尤其会伤 general retrieval；因此如果目标是 first-token 推理，不要套用生成式策略优化，应直接用 item-space conditional feedback。
- 附带收益：该方法蒸馏出的 first-token scorer 在 TREC DL/BRIGHT 上 ECE 低于生成式教师，且无需标定专用目标；这对需要阈值截断/出价置信度校准的广告或推荐场景是可直接复用的性质。
桥接自蒸馏用于在线策略学习
🧭 蒸馏训练 · On-Policy 推理蒸馏
Technical University of Munich · LMU Munich · Munich Center for Machine Learning (MCML)
提出 Bridged Self-Distillation 统一框架，用教师推理轨迹作特权上下文，通过自教师与 verifier 实现在线策略蒸馏，适用于任意教师场景
📌 工作参考价值（3 点）
- 蒸馏大模型用于业务中的 query 生成、推荐解释、Agent 规划时，若教师是开 API 或分词器不同，可直接采用 BSD：教师只输出推理文本作为上下文，学生自我蒸馏，省去 logits 对齐和词汇映射。
- 用业务 verifier（点击率、转化率、规则满足等）作为结果信号，结合在线策略样本只对失败 rollout 施加 token 级修正，可训练出更贴合业务目标的小模型。
- 特权上下文技巧可迁移：训练时给模型额外的推理线索或高质量解释，推理时不暴露，类似推荐中训练时使用详细的用户行为解释，部署时只用原始特征，可有效提升小模型能力。
Waypoint-OPD：基于门控在线策略蒸馏的 RL 策略偏移迁移
🧭 RL 策略偏移蒸馏 · 门控迁移
Alibaba Cloud Computing
用中间检查点方向一致性门控教师 RL 前后策略偏移，提升数学与代码推理蒸馏效果
📌 工作参考价值（4 点）
- 在 RL 蒸馏中保留中间 checkpoint 成本低：只需额外一次 frozen-teacher 打分，即可按 early/late 偏好方向一致性过滤噪声，适合线上小模型蒸馏。
- 门控思想可迁移到排序/Agent 策略蒸馏：teacher 策略在训练中迭代不稳定时，不要直接用最终参数差，而是用中间检查点检测方向冲突，抑制相互抵消的 policy shift。
- 对用 RL 微调 LLM 做 query 生成、生成式推荐或 Agent 决策的业务，可以借鉴 on-policy 蒸馏方式：让学生自生成轨迹，teacher 打分并计算 early/late log prob 差，只把方向一致的策略偏移作为监督，避免把探索期噪声传给学生。
- 论文在数学与代码推理验证，迁移到电商场景需适配奖励和动作空间，但“方向一致性 gating”是通用 trick。
SERO：从可执行 Oracle 续推中学习长时程智能体强化学习
🧭 长时程 Agent RL 的可执行 oracle 续推训练 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Shanghai Jiao Tong University · Tongji University
将训练期 oracle 多步续推作为辅助监督，并用前缀可达性权重控制离策略深度，提升长时程 Agent RL 的 OOD 表现。
📌 工作参考价值（4 点）
- 在多轮会话型业务（导购/搜索/推荐 Agent）中，可维护训练期 oracle（强规则、大模型或人工策略），从线上策略实际到达的状态恢复环境并执行后续 oracle 动作，把整条“可执行分支”而非单步纠正作为 SFT/RL 辅助监督；推理时完全移除 oracle，不增加线上成本。
- 引入 policy-reachability weighting：用冻结策略对 oracle 前缀的 likelihood 乘积衰减深层监督，避免在策略不兼容的深度离策略状态上乱学；随策略提升自动延长有效监督 horizon。可迁移到多步推荐/对话策略蒸馏，对 OOD 流量更稳。
- 将 oracle 辅助 loss 与 base RL 解耦：不改动 reward/advantage/importance ratio，降低与现有 credit assignment 方法（如 GRPO、GraphGPO）的集成成本，业务上可作为插件式模块，关掉 λ_O 即可回退到原方法。
- 如果业务环境支持状态快照恢复，可构造 counterfactual 续推数据用于诊断和训练；若不支持，也可用真实日志回放近似，但需注意状态-环境一致性。
Cowork-Gym：大规模合成交互式工作环境
🧭 Agent 环境合成与后训练
Alibaba Token Foundry
用构建-执行-修订循环合成64.9K个Cowork环境，后训练小模型在多个Agent基准上大幅超越基座
📌 工作参考价值（4 点）
- 用执行反馈自动修复生成环境：在电商/Agent场景中构建训练数据时，可引入 build-execute-revise 循环，把任务目标的可行性、工具可执行性、用户行为一致性和成功标准都纳入自动校验，避免人工审核，提高数据质量和规模。
- 有状态用户模拟器设计：模拟用户不只输出对话，还直接编辑共享工作区（如购物车、订单、商品列表），这让 Agent 训练更接近真实多轮交互。推荐系统对话模拟或电商客服 Agent 训练可借鉴此模式。
- 多阶段后训练配方：SFT + RL + on-policy distillation 的组合让 9B 小模型在 Agent 基准上平均提升 8.7 点，对于业务中缺乏大模型成本的团队，可参考此低成本训练方案提升自研小模型能力。
- 环境多样性与场景覆盖：14 个场景、64.9K 任务规模证明合成数据在覆盖长尾工作流上的价值，类似思路可用于生成大量电商用户任务流（如比价、凑单、多条件筛选）来训练 Agent。
超越领域路由监督：多教师在线蒸馏的跨教师守护
🧭 多教师在线蒸馏梯度冲突缓解
Nanjing University · JD.com
提出 ROADMOPD，引入非路由教师作为跨域批评者，通过 token 级信用分配与梯度投影缓解多教师在线蒸馏的梯度冲突
📌 工作参考价值（4 点）
- 在多领域/多任务 LLM 在线蒸馏或 RLHF 中，不要只靠数据路由区分教师；可在同一批轨迹上额外计算非路由教师的梯度/损失作为冲突检测器，用教师一致性加权 token 级损失，低成本缓解共享参数下的梯度冲突。
- 梯度投影是可复用的训练工程技巧：当辅助梯度与主梯度方向冲突时，对主更新做投影去除冲突分量；但落地时应自适应控制投影强度，避免过度约束损害目标域信号，可参考其投影强度的门控/衰减机制。
- 若业务中需同时蒸馏多个领域专家（如电商搜索、推荐文案、客服），可借鉴“跨教师守护”思路：把非目标域教师作为 critic，不直接更新学生，只参与冲突感知的梯度修正，降低劣势领域退化风险。
- 对于 token 级信用分配：利用教师间一致性而非单教师概率来调整 token loss 权重，能减少噪声标签/风格差异带来的干扰，适合生成式推荐中文本质量与领域风格冲突的场景。
何时需要在线蒸馏？离线学生轨迹蒸馏常更优
🧭 LLM 蒸馏策略 · 在线 vs 离线 rollout
Semi-OPD 用初始学生离线 rollout 蒸馏，在 17 对模型上 14 对优于 OPD，最高 +13.6% 精度、11.4 倍加速
📌 工作参考价值（4 点）
- 做 LLM teacher→student 蒸馏（如 query 改写 / 商品文案 / Agent 策略小模型）时，先别默认 OPD。用一批 hold-out prompt 统计初始师生输出的 top-64 token overlap；若 overlap 不高（论文中多数 < 90%），直接用初始学生离线 rollout 的 Semi-OPD，精度更稳且省 GPU。
- 离线 rollout 可以预生成、缓存、复用，训练时只用固定数据，天然适合电商/广告的离线训练流水线；Semi-OPD 相对 OPD 最高 11.4 倍加速，H100 成本明显下降。
- 若业务必须用 OPD（如需要在线探索），先做 warm start 让学生与老师输出分布接近；否则学生 rollout 随上下文增长会越来越 off-policy，蒸馏信号退化。
- 可以把 token overlap ratio 作为轻量监控指标，在启动蒸馏前判断 OPD 是否值得，避免盲目投入 GPU。
无搜索锐化：序列级幂分布的在线策略蒸馏
🧭 LLM 训练 · 无奖励推理锐化 ★ 深度解读
University of Southern California · Intel AI
OPPD 通过 on-policy 蒸馏把推理时序列级幂分布采样的成本转移到训练阶段，单个生成即可达到或超过 64 候选采样
📌 工作参考价值（4 点）
- 在电商搜索 query 推荐或文案生成中，可以训练模型学习教师模型对完整序列的幂分布，即对完整候选文本（如 query）的概率进行 α 次幂加权，使推理时只需单次生成即可达到近似多个候选采样再加权的效果，大幅降低线上推理延迟。
- 借鉴 on-policy weighted likelihood 训练方式：让待训练模型自己生成候选，用冻结教师（如 LLM）给出概率并计算权重，重点加权学生自身的高概率答案；这比直接蒸馏教师生成样本更贴合实际分布，适用于 Agent 工具调用轨迹或推荐解释文本的训练。
- 工程实现 trick：生成候选时使用教师温度 1/α 的 proposal 降低重要性权重方差，避免权重退化；将长文本分块（例如 64 tokens）让教师一次前向评分，减少调用次数；训练权重与 SMC 重要性权重分别累加，并在重采样后重新归一化。这些都能复用在大规模在线生成任务的稳定训练中。
- 在没有人工偏好或点击信号可用时，可以使用模型自身的序列概率（经由 teacher 锐化）作为软奖励进行训练，提升推理和生成质量；对电商问答、商品推荐理由、营销文案生成等场景可低成本迁移。
从修复的推理中学习：根因引导的在策略蒸馏
🧭 LLM 推理训练 · 根因修复蒸馏
Gaoling School of Artificial Intelligence, Renmin University of China · School of Software and Microelectronics, Peking University · School of Information Technology and Management, University of International Business and Economics
提出 RC-OPD，用学生失败推理的根因修复和锚点引导，缓解自蒸馏的推理错配与蒸馏陷阱
📌 工作参考价值（4 点）
- 在训练电商/Agent 多步推理或工具调用链时，不要只用固定 reference trajectory 做 SFT；可以收集模型自己的失败轨迹，定位最早错误步骤，只做局部修复并保留有效前缀，既降低全量重写成本，也能提升样本针对性。
- 将训练目标拆成两类：对错误段用 root-cause 信号强化纠错，对有效前缀用 anchor-guided 信号维持正确行为。这种分段蒸馏思路可迁移到推荐解释、查询改写、广告文案生成等需要保留中间正确约束的任务。
- 诊断-修复-续写循环可形成自动化 on-policy 数据管线：用诊断模型或规则框定错误片段，设置固定 repair budget，通过 continuation 验证修复效果，适合工程化迭代训练 LLM ranker/agent。
- 对生成式推荐中的 CoT/推理链，可以用 valid prefix anchor 避免不必要的约束冲突，减少“模型只抄结论但错误未消”的情况。
从梯度到能力：理解多教师在线策略蒸馏
🧭 多教师在线蒸馏优化机制 ★ 深度解读
University of Illinois Urbana-Champaign · Princeton University · Westlake University
通过梯度与优化器分析，揭示损失平均、Adam动量、BF16精度和词汇截断如何影响多教师蒸馏的任务性能。
📌 工作参考价值（4 点）
- 多任务/多领域模型融合时，响应长度差异会通过 token 平均隐式改变各任务损失权重；即使显式平衡域权重，域内长度加权仍通过协方差项影响梯度方向。建议在长度差异大的场景下，优先使用响应级平均或引入长度归一化，并监控各任务有效梯度占比。
- Adam 的一阶动量会掩盖不同教师/任务之间的梯度差异，更新方向被历史平均对齐；在线学习或需要快速适应新任务信号时，可尝试使用 SGD 或重置一阶矩，实验显示 SGD 在 PG 损失下四任务均值更高。
- BF16 存储会隐藏大量 FP32 主权重中的小变化（约97% vs 7-11%），导致模型更新看似稀疏，实际并非如此。评估参数变化或稀疏性时，应基于 FP32 master weights，避免被低精度舍入误导。
- top-k 词汇截断虽在梯度方向上与全词汇 KL 高度一致（余弦>0.999），但任务收益取决于损失平均方式；不能仅凭梯度余弦决定是否采用。资源受限时可使用 top-64 交集 KL，但需针对目标任务调整权重。
教师是方向，而非终点：在策略蒸馏中沿RL诱导表示残差外推
🧭 LLM 蒸馏与RL训练优化 ★ 深度解读
University of Science and Technology of China · Rutgers University · Zhejiang University · Independent Researcher
提出 RIDE，在隐藏状态空间外推教师相对其RL前基座残差，稳定超越教师并优于输出空间外推
📌 工作参考价值（4 点）
- 同初始化蒸馏场景下，把 RL 教师相对基座模型的隐藏状态差作为方向而非仅作为终点，可在策略蒸馏中稳定超越教师；推荐/Agent 模型中若需合并多个领域专家或把 RL 结果蒸馏回 base，可复现类似残差外推目标。
- 输出空间 log-ratio 外推对采样噪声按 (λ−1)² 放大，教师与 base 差距小时尤其不稳定；改用逐层隐藏状态回归可消除条件方差，更适合生成式推荐或对话式 Agent 的稳定训练。
- 语言模型 head 各向异性会削弱隐藏状态残差，弱方向承载大部分能量但输出监督只接收小部分；在蒸馏或轻量适配时，对中间层表示做直接回归能保留更多 RL 带来的行为变化。
- λ 是一个轻量外推系数，λ=1 退化为普通 OPRD；实际业务可从小幅 λ>1 开始，既继续 RL 方向又避免格式/长度崩溃。
On-Policy 与 Off-Policy 学习：蒸馏动力学的系统研究
🧭 蒸馏训练策略对比 ★ 深度解读
University of Cambridge
在强到弱蒸馏中解耦 rollout 策略、KL 方向和 learning rate，发现 on-policy 无一致优势，forward KL 更鲁棒，learning rate 主导遗忘与稀疏性
📌 工作参考价值（4 点）
- 在构建领域 LLM 蒸馏流水线（如将大模型蒸馏到线上小模型用于 query 理解或文案生成）时，优先使用 forward KL + off-policy 数据：成本低且对 rollout 策略鲁棒，不必频繁生成 on-policy 样本。
- 控制 learning rate 是平衡效果与灾难性遗忘的关键旋钮；如果微调后通用能力下降，先调低 learning rate，而不是转向 on-policy 采样。
- 如果需要提升模型对更难任务（如从简单商品描述生成到复杂营销文案）的泛化，可适量引入 on-policy 数据，但注意后续若接 RLVR，该优势可能消失。
- 若要抑制教师模型的风格/偏见迁移（如避免推荐文案出现不符合品牌调性的表达），可考虑 on-policy rollouts + reverse KL 组合。
当 EOS Token 不一致：理解 On-Policy 蒸馏中的长度膨胀
🧭 On-policy 蒸馏终止 token 失配 ★ 深度解读
University of North Carolina at Chapel Hill · Brigham Young University · Microsoft
发现 base 学生与 post-trained 教师的终止 token 失配是 OPD 长度膨胀主因，语义 EOS 聚合对齐终止概率可有效缓解
📌 工作参考价值（4 点）
- 在电商/推荐/Agent 场景用小模型蒸馏大模型生成推荐理由、query 改写或对话回复时，务必检查学生和教师模型的 EOS token 配置及实际概率分布；即使声明停止集相同，也可能分别偏好 <eos> 与 <end_of_turn>，导致生成不停止、重复输出。
- 修复不能只改 decoding 的 stopping set，要在训练目标层把语义等价的终止 token 概率求和，作为同一个 stop 动作进行监督（semantic EOS aggregation）；否则学生已有的停止动作会被负梯度持续压制，且教师偏好的 token 因采样概率极低几乎得不到直接监督。
- OPD 训练中应监控 response length、clipping ratio、termination probability 三条曲线；若正确答案早已出现但长度继续增长、终止概率骤降，优先怀疑 EOS 失配，而不是先调学习率或换 KL 目标。
- 多轮 Agent 或工具调用场景不要盲目聚合所有特殊 token：需定义 context-dependent termination classes，区分 end-of-turn、tool call、document boundary、message completion，否则会破坏交互控制流。
统一 per-token 门控族：FKL/RKL 混合的多通道与偏置参数化
🧭 LLM 知识蒸馏损失门控统一参数化
Xiaohongshu Inc. · Tianjin University
把 on-policy 蒸馏中的 per-token FKL/RKL 门控统一为四系数参数化，EOPD/ToDi 成为其一维特例
📌 工作参考价值（4 点）
- 做 LLM 蒸馏时，可把 FKL/RKL 混合权重从固定标量升级为 per-token 门控 λ_t=σ(a·h_t+b·u(x)+c+d·gap_t)，用 teacher 熵 h_t、学生/教师 gap_t 等已能计算的信号作为特征，几乎不额外增加工程成本。
- 可将 EOPD、ToDi 这类已有门控方法放进统一坐标里做 sweep；至少先跑 entropy-only、gap-only、bias-only 三条 1D 线，再叠加多通道和偏置，比盲调 FKL/RKL 权重更有方向。
- 显式 bias c 值得单独保留：它等价于一个可学习的全局混合偏好，部署到不同业务语料（商品文案/搜索改写/push 文案）时可以作为任务先验快速调节。
- 该文在短输出分类任务上方向性收益多，但 n=3 不显著；迁移到电商/推荐文本生成时，建议用多 seed paired replication 评估真实线上收益，别被单 seed 的 33/36 这类计数误导。
RISE：通过自外推策略蒸馏实现递归自改进
🧭 LLM 后训练 · RLVR 自外推蒸馏 ★ 深度解读
Salesforce AI Research
RISE 外推模型自身 RLVR 轨迹构造 token 级教师，实现递归自蒸馏，无需外部模型或特权条件
📌 工作参考价值（4 点）
- 对点击/转化/完成率等稀疏 reward 训练的推荐、搜索、对话/导购 Agent 策略，可以借鉴 RISE 的两阶段循环：先做一轮 GRPO/RLVR 得到 θ'，再把 θ' 与 anchor 的位移按 β 外推成“未来教师”，用 token 级蒸馏把稀疏 outcome 信号转成稠密监督；尤其适合多轮 Agent 的延迟奖励场景。
- 落地优先用 logit-space 外推：不物化 teacher 参数，只需缓存 anchor 与 post-RLVR 的 top-K logits（K=100，代码类可 K=20）并加 tail bucket；复用 RLVR rollouts，不增加采样成本，整体约 1.3–1.6× wall-time。
- 超参上建议 β0=1.2 并随训练线性衰减到 1；anchor 用 EMA（η=0.1）平滑更新方向，对噪声大的小模型或稀疏 reward 环境更稳；若 RLVR 单步方向已稳定可退回 previous checkpoint anchor。
- 必须有 reward grounding：去掉 RLVR 阶段仅外推自身位移会导致训练崩溃（MATH-500 掉到 2.4%，输出长度爆炸）；因此若业务 reward 可被 hack，需先保证 reward 质量或增加不确定性约束。
答案验证的多教师自蒸馏：多域LLM能力整合
🧭 多教师蒸馏 · 答案验证 · 多域LLM整合 ★ 深度解读
National University of Defense Technology · Zhejiang University · Intelligent Game and Decision Lab
MT-SDPO用答案验证按样本选择正确教师，结合自锚定与特权蒸馏，将多域教师整合为单一LLM策略，提升最弱域并缩小域间差距
📌 工作参考价值（4 点）
- 多域/多任务LLM post-training时，不要按领域标签路由教师；对有可验证答案的任务（如选品打分、参数判断、query改写），用程序化校验器按样本筛选正确教师，再聚合所有正确反馈，可提升最弱域并缩小域间差距。
- Self-anchor 思路：先用学生自己生成且验证正确的 rollout 作为同组错误 rollout 的 privileged context，减少外部教师查询成本；只有学生失败时才查询外部教师，能明显降低训练开销。
- 蒸馏 teacher feedback 时引入词法/规则 sanitizer，过滤掉泄露正确答案或参考选项的反馈，防止模型只学会背答案；电商推荐解释、搜索词生成的 teacher feedback 同样需要这种防泄漏机制。
- 工程实现：离线先缓存每个样本的 eligible teacher set，训练时不必重复回答；推理只保留 student，丢弃教师池、verifier 和 EMA 副本，利于部署。负结果显示：若初始化已经均衡，在线蒸馏收益有限，应先评估最弱域 headroom 再决定是否投入在线阶段。
影响力导向蒸馏：解决采样令牌在线蒸馏中的多样性瓶颈
🧭 On-policy 蒸馏多样性保持
BiliBili.Inc · University of North Carolina at Chapel Hill · University of Science and Technology of China · Shanghai University of Finance and Economics
提出 IDA-OPD，用一阶局部熵影响力识别并替换熵收缩更新，仅靠采样令牌教师概率提升 pass@k 并保持 pass@1
📌 工作参考价值（4 点）
- 在蒸馏小模型做生成任务时（如 query 推荐、商品描述、广告文案），不要只盯 pass@1；引入 pass@k 监控多样性继承，避免蒸馏后输出同质化。
- 可以低成本复用 IDA-OPD 思想：用教师仅对采样 token 的 log-prob 做更新，通过一阶局部熵影响力判断更新是否压缩熵，对熵收缩更新做自适应优势收缩，无需全词表教师 logits，适合线上资源受限的生成推荐场景。
- 若已有 on-policy 蒸馏流程，先用该影响力代理做离线诊断，定位哪些训练 step 导致多样性下降，再有针对性调整更新或数据混合，比盲目增加正则更高效。
- 在生成式推荐中，若要继承教师模型生成多样性（如多样商品标题、搜索联想词），可借鉴本文用符号一阶代理解耦教师-学生差距与学生局部概率结构的方法，快速识别负影响力位置。
潜在在线策略自蒸馏
🧭 LLM Agent 在线策略自蒸馏训练 ★ 深度解读
National University of Singapore · Beijing University of Posts and Telecommunications · Shanghai Jiao Tong University
让 OPSD 的特权上下文从手工设计变为可学习的潜在表示，联合蒸馏提升 agent 与代码策略，样本效率显著优于 GRPO/Skill-SD
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 训练中，可将历史成功会话（用户目标+操作序列+结果）检索并压缩成 latent tokens 条件化 teacher，让学生从自己的 rollout 中稠密学习，避免人工写死“成功策略/提示模板”；线上推理只保留学生，不增加延迟。
- 使用 on-policy self-distillation 时必须加 privileged-margin 约束，否则 teacher 会退化到 student，联合训练效果反而比冻结 composer 更差；可用结果奖励（如转化/点击）加权 per-token advantage，margin 建议设在 0.05 左右。
- latent context 注入生产推理引擎不必改底层 embedding，用 placeholder sentinel + dummy token ids 即可兼容 vLLM/SGLang；训练后 composer 和检索索引可以完全离线。
- 在 RLVR 采样预算有限（如每天 1-2k 条 rollout）且需要快速策略迭代的推荐/广告 Agent 场景，latent-teacher 稠密监督比纯 GRPO 样本效率高很多，可作为内部训练组件复用。
开放大语言模型多语机器翻译的无参考后训练
🧭 LLM 多语翻译 · 强化后训练 ★ 深度解读
Xiaomi Inc.
用GRPO加语言门控无参考质量奖励与SFT-RL权重插值，46语翻译12B模型超越多个闭源系统
📌 工作参考价值（4 点）
- 无参考奖励设计：在缺乏成对标注的生成任务（商品文案、搜索query改写、Agent回复）中，可组合多个可学习质量模型打分，并用规则门控（目标语言/格式/长度）过滤无效高分，避免错误输出获得奖励。
- SFT-RL参数插值：训练完成后把SFT与RL权重按α线性混合，无需额外训练即可调节指标trade-off（如相关性 vs 多样性、BLEU vs 神经指标），推荐默认尝试α=0.5作为起点。
- RL数据筛选：对每个prompt采样一组rollout，只保留reward均值和标准差符合条件的样本，能显著提升GRPO训练信号效率，适合从线上日志或无标注语料构造后训练数据。
- 小模型继承大模型增益：用on-policy distillation可以接近RL+插值模型的性能，资源受限时可只对大模型做RL然后蒸馏到线上小模型。
HindSearch：轨迹级后见批评提升搜索增强RL
🧭 后见批评 · 搜索增强强化学习 ★ 深度解读
Santa Clara University · Rochester Institute of Technology · Independent Researcher
利用黄金答案生成失败轨迹的指令性批评，通过on-policy distillation使搜索RL获得密集信号，平均EM提升至39.4%
📌 工作参考价值（4 点）
- 训练搜索型Agent时可复用：电商搜索、推荐对话等场景可将最终正确答案（如成交商品）作为后见，让冻结裁判生成“本应搜索什么”的批评，转化为密集训练信号，缓解稀疏奖励下信用分配困难。
- 简单可插拔的密集奖励方案：直接在GRPO上叠加一个OPD损失，只作用于搜索动作token，无需训练过程奖励模型，额外计算开销仅在训练时、只在失败轨迹上（约15% wall-clock），推理时零成本。
- 批评生成技巧：用强大但冻结的裁判LLM，输入完整轨迹+正确答案，输出1-2句具体指令（“应该查询导演名而非演员表”），广播到所有搜索步作为hint前缀；使用同尺寸学生模型作为教师，避免教师过大导致KL崩塌。
- 可迁移结论：后见批评带来的提升同等覆盖训练域内和零样本任务（+5.85pp vs +5.80pp），表明学到的搜索策略是通用的，适用于新场景快速泛化。
训练后方法如何影响推理置信度：SFT、RL、OPD三阶段校准分析
🧭 LLM推理校准与后训练方法相互作用
Eastern Institute of Technology, Ningbo · The Hong Kong Polytechnic University
揭示SFT、RL、OPD在推理前/中/后校准特性迥异，并提出位置感知置信度PosConf大幅提升聚合与早停性能。
📌 工作参考价值（4 点）
- 多路径推理置信度投票：在Agent或RAG系统生成多个推理路径时，可借鉴RL模型的trace-level置信度进行加权投票，并仅在“路径承诺”后的可靠位置提取置信度，避免前期噪声，提升最终答案聚合准确率。
- 推理早停控制：对强延迟约束的在线推荐场景，可利用SFT模型的在线置信度信号做early stopping，动态终止低可能性生成，节省token消耗；OPD模型的早期置信度可用于难度预估，直接放弃高难度请求，进一步降低成本。
- 位置感知置信度使用：通用原则——不从推理全程提取置信度，而是针对不同训练策略识别可靠区间（如OPD仅用前段，RL用后段），可提升置信度的校准性和决策有效性，适用于生成式推荐的理由生成、对话Agent的多轮规划等。
- 后训练方式选择依据：若业务侧重推理前难度预估（如请求过滤），优先OPD；若需在线中断低质生成，优先SFT；若需高可靠的多路聚合，优先RL。
用于代理强化学习的自我演化在线策略蒸馏
🧭 自我演化技能蒸馏 · 代理强化学习
Tsinghua University · Zhejiang University · The Chinese University of Hong Kong · Nanyang Technological University · Tongji University
SEED通过从在线轨迹提取后见之明技能并蒸馏为密集token级信号，弥补了结果奖励与token策略之间的监督鸿沟
📌 工作参考价值（4 点）
- 在训练对话式推荐或工具使用 Agent 时，可从在线轨迹自动提取成功模式/失败规则，蒸馏回策略，缓解稀疏奖励问题
- 用当前策略作为技能分析器实现自我演化，辅助监督与策略分布同步更新，避免离线方案中的分布偏移
- 技能增强的分数重计算（概率偏移）作为密集的 token 级蒸馏信号，可与 RL 损失联合优化，无需额外人工标注
- 提升模型在未见场景的泛化能力，对搜索推荐 Agent 处理长尾查询或复杂对话有一定参考价值
TurnOPD：让在策略蒸馏感知轮次以实现高效长时智能体训练
🧭 在策略蒸馏的轮次感知预算优化
复旦大学 · 腾讯混元
通过轮次级预算策略解决长时智能体训练中全轮次 rollout 浪费与令牌级损失偏向浅层的问题
📌 工作参考价值（4 点）
- 自适应 rollout 深度：可借鉴到电商对话 Agent 训练，当模型在多轮交互中已产生足够确定性决策时提前终止 rollout，节省推理时间，适合在线学习场景。
- 渐进式轮次归一化损失：解决序列开头 token 损失占比过高的问题，让训练更关注中后段的关键决策点，适用于需要多步工具调用或搜索推理的推荐/购物助手 Agent。
- 探针统计指导预算分配：通过简单探测动作分布决定是否继续 rollout，这一思路可复用到流式训练资源调度中，动态决定分配给不同样本的计算量。
- 基于壁钟时间的公平比较：该评估方式对业务系统有启示，实际部署更关心训练时间而非采样数，优化壁钟效率比仅看样本效率更有工程价值。
DanceOPD：用于流匹配模型的在线策略生成场蒸馏
🧭 多能力组合蒸馏 · 在线策略训练
ByteDance Seed · NUS · UMD · HKUST
提出一种在线策略生成场蒸馏框架，通过路由和查询学生自身状态来组合冲突的多能力，提升图像生成中的能力组合效果。
📌 工作参考价值（4 点）
- 多任务组合的在线策略蒸馏：在电商推荐中，点击、转化、时长等多目标常相互冲突，可借鉴 DanceOPD 的 on-policy 场蒸馏思想，将每个目标视为一个速度场，模型在自身 roll-out 的状态上查询各场进行学习，避免离线预计算偏差，实现多目标平衡。
- 吸收算子化目标：类似于将无分类器引导（CFG）吸收为可蒸馏的场，在推荐中可将去偏、多样性控制等算子形式化为场，蒸馏进学生模型，简化推理管线。
- 生成式推荐的训练范式：若将物品 ID 表示为生成式 token，使用流匹配生成推荐序列，DanceOPD 的 on-policy roll-out 训练方式可更好对齐生成与判别目标，减少曝光偏差。
- 路由机制与能力解耦：每个训练样本只路由到一个能力场，避免能力间相互干扰，对于多领域（如广告、内容、商品）合并训练时有直接参考价值，可按样本域标签路由到对应专家场。
重加权负轨迹重要性用于LLM同策略蒸馏
🧭 LLM同策略蒸馏负轨迹重加权
East China Normal University · Shanghai Innovation Institute
发现错误轨迹在蒸馏中优于正确轨迹，提出用学生-教师概率比加权负轨迹，无需最终答案即可提升推理蒸馏效果
📌 工作参考价值（4 点）
- 在电商搜索推荐或Agent的LLM推理训练中，可借鉴“错误样本更有信息量”的发现，主动提升错误轨迹权重，避免模型退化到保守短答案
- 利用学生-教师概率比作为错误倾向的隐式信号，无需人工标注或最终答案标签，适合在线策略环境下的自动样本加权
- 方法仅依赖前缀概率，支持prefix训练模式，适合资源受限或需要快速迭代的线上蒸馏场景，无需等待完整轨迹
- 对于需要自我反思的推荐解释或广告文案生成，可借助ReNIO保留探索性边界行为，防止过拟合安全但平庸的输出
OPRD：在策略表征蒸馏
🧭 策略蒸馏 · 表征对齐
Zhejiang University · Ant Group
将在策略蒸馏从输出空间提升到隐藏状态空间，消除采样方差并提供更丰富的结构化监督信号
📌 工作参考价值（4 点）
- 用表征蒸馏替代输出空间KL：在训练小模型（如电商客服、推荐解释）时，可直接对齐学生与教师中间层隐藏状态，绕过庞大的词表投影，消除采样方差，使训练更稳定，尤其适用于大词表（如中文150k+）场景。
- 内存与速度优化：OPRD loss在LM head之前计算，避免存储完整词表分数矩阵，训练速度快1.44倍，内存减少54%，适合资源受限的线上微调或频繁迭代。
- 层间对齐可迁移到多模态或推荐模型：方法不限于文本，可扩展到多模态表征蒸馏（如视觉-语言对齐），或用于推荐系统中用户/物品编码器的迁移学习，将复杂大模型知识压缩到轻量级线上模型。
- 提供确定性、逐层结构监督：相比输出蒸馏的稀疏奖励，表征蒸馏给出逐位置、逐层的稠密信号，利于捕捉细粒度语义，对于对话Agent的多轮一致性、推荐解释生成等任务可能更有效。
自训练验证：无需人工标注的测试时与训练时自我改进
🧭 推理模型自我改进 · 验证器训练与蒸馏 ★ 深度解读
Carnegie Mellon University
利用参考答案蒸馏验证器，同时提升推理模型在测试时迭代精炼和训练后独立表现
📌 工作参考价值（4 点）
- 验证器训练范式：当直接评价生成结果困难时，可引入参考答案作为特权信息，用 on-policy 蒸馏训练一个无条件验证器，避免人工标注反馈质量。电商搜索中，可类似地利用点击/成交数据作为“参考答案”训练查询质量判别器。
- 弱到强验证：实验证明 1.7B 的 STV 验证器配合 8B 生成器可匹敌 8B 自验证，适合资源受限场景。在多智能体系统中，可用小模型作为仲裁者或反馈提供者，节省推理成本。
- 生成器反馈训练 (ViL)：在验证器反馈下继续 RL 训练生成器，不仅能提升多轮对话效果，还能让模型首轮回答质量大幅提升（+30%）。可迁移到对话式推荐或 agent 工具调用，用自我反馈数据突破 RL 平台期。
- 防止奖励黑客：STV 缓解了验证器分数虚高但准确率停滞的问题，通过精确率-覆盖率曲线诊断验证器校准。对推荐系统中的 RL 排序或生成模型，可借鉴该思路监控并校准 critic 或 reward model。